Ngày 28 tháng 5 năm 1940, Giáo hoàng bổ nhiệm linh mục Phan Đình Phùng làm Giám mục hiệu tòa Marciana, chức vụ Giám mục phó Địa phận Phát Diệm.[11] Tân giám mục là người Việt Nam thứ tư được phong giám mục, nhưng là người đầu tiên xuất thân từ Bắc Kỳ.[12] Tin tức về đến Giám mục chính Địa phận Nguyễn Bá Tòng qua Khâm sứ Tòa Thánh vào ngày 2 tháng 6. Tuy vậy, cho đến ngày 11 tháng 6, tông sắc bổ nhiệm vẫn chưa về đến Phát Diệm. Trong thư gửi các linh mục Phát Diệm ngày 11 tháng 6, Giám mục Tòng cho biết ông đã nộp đơn xin giám mục phó, vì nhận thấy sức khỏe mình ngày càng giảm sút và sợ đột tử (chết thình lình). Nội dung thư, Giám mục Tòng cũng bày tỏ niềm vui mừng khi vị kế vị là một giáo sĩ bản xứ Việt Nam.[13] Giám mục Tòng cũng đã gửi thư báo tin bổ nhiệm cho Giám mục Địa phận Vĩnh Long Phêrô Máctinô Ngô Đình Thục vào ngày 12 tháng 6. Nội dung thư, Giám mục Tòng cũng loan báo sẽ chờ tông sắc giáo hoàng, sau đó mới định ngày tấn phong tân giám mục. Ông cũng đề nghị cầu nguyện cho tân chức. Giám mục Thục sau đó đề nghị các giáo hữu trong Địa phận cầu nguyện cho tân giám mục.[14]

Lễ tấn phong Giám mục cho Giám mục Tân cử Phan Đình Phùng được tiến hành vào ngày 3 tháng 12 năm 1940, tại Phát Diệm,[15] với vị chủ phong là Khâm sứ Tòa Thánh Antonin Drapier với sự phụ phong của hai Giám mục Nguyễn Bá Tòng, Đại diện Tông Tòa Phát Diệm và và Louis De Cooman Hành, Đại diện Tông Tòa Thanh Hóa.[16] Khẩu hiệu Giám mục của ông là "Lạy Chúa con yêu mến Chúa".[4] Có tài liệu ghi nhận khẩu hiệu của ông là Yêu mến Chúa là sức mạnh.[7] Tham dự lễ tấn phong còn có Toàn quyền Đông Dương Jean Decoux và Émile Louis François Grandjean, Thống sứ Bắc Kỳ. Hơn mười nghìn giáo dân và 11 giám mục từ các địa phận khác đến dự.[12] Theo sách Lịch Sử Giáo Phận Phát Diệm của Vinh sơn Trần Ngọc Thụ đưa ra con số 10 giám mục tham dự và con số giáo dân khoảng 4 đến 5 vạn người. Lễ tấn phong cũng là dịp Triều đình Huế trao cho Giám mục Địa phận là Gioan Baotixita Nguyễn Bá Tòng Nam Long Bội tinh và Kim khánh, chính phủ Pháp trao Bắc Đẩu Bội tinh.[9]

Ngày 27 tháng 12 năm 1943, giám mục Phan Đình Phùng kế vị chức vụ Giám mục Đại diện Tông Tòa Phát Diệm, thay cho Giám mục Nguyễn Bá Tòng vừa nghỉ hưu. Về quản lý địa phận, ông tiếp tục theo con đường của vị tiền nhiệm là giám mục Nguyễn Bá Tòng. Ngoài nhiệm vụ giám mục, ông quyết định tự thân huấn đức chủng sinh Đại chủng viện và các nữ tu Mến Thánh giá. Về dòng tu nữ này, ông quan tâm đến việc đào tạo Tập sinh dòng và phát triển chi nhánh tu viện Mến Thánh giá tại nhiều xứ đạo trong địa phận.[7]

Phan Đình Phùng cũng cộng tác viết bài cho báo "Linh Mục Đông Dương" (Sacerdos Indosinensis), đóng góp các bài viết có giá trị cao về giáo luật. Tuy nhiên, chỉ sau hơn 5 tháng cai quản Hạt Đại diện Tông Tòa này, đột ngột qua đời vào ngày 28 tháng 5 năm 1944 tại tu viện Châu Sơn, Nho Quan, hưởng thọ 53 tuổi. Nhận được tin này, giám mục Nguyễn Bá Tòng đang hưu dưỡng trở về chấp chính địa phận, trước hết tổ chức tang lễ cho cố giám mục Phan Đình Phùng.[7] Giám mục Phùng qua đời sau khi chủ sự lễ khấn dòng cho các tu sĩ tại tu viện.[9]

Giám mục Phan Đình Phùng được an táng trong nhà thờ chính tòa Phát Diệm, bên cạnh mộ của Giám mục Alexandre Marcou.[17]